조작 및 속임수에 취약한 ChatGpt 검색 도구, 테스트 쇼

OpenAi의 ChatGpt 검색 도구는 숨겨진 컨텐츠를 사용하여 조작 할 수 있으며 검색하는 웹 사이트에서 악의적 인 코드를 반환 할 수 있다고 Guardian 조사 결과. OpenAi는 고객에게 고객에게 검색 제품을 사용할 수있게했으며 사용자에게 기본 검색 도구를 만들도록 권장하고 있습니다.그러나이 조사는 새로운 시스템의 잠재적 보안 문제를 밝혀냈다. Guardian은 숨겨진 콘텐츠가 포함 된 웹 페이지를 요약하라는 요청을 받았을 때 Chatgpt가 어떻게 응답했는지 테스트했습니다.이 숨겨진 컨텐츠에는 "신속한 주입"이라고도 알려진 Chatgpt의 응답을 변경하거나 제품의 이점에 대해 이야기하는 많은 숨겨진 텍스트와 같이 Chatgpt의 응답에 영향을 미치도록 설계된 컨텐츠를 포함 할 수있는 제 3 자의 지침이 포함될 수 있습니다.서비스. 이러한 기술은 예를 들어 Chatgpt가 같은 페이지에서 부정적인 리뷰에도 불구하고 제품에 대한 긍정적 인 평가를 반환하는 것과 같이 악의적으로 사용될 수 있습니다.보안 연구원은 또한 Chatgpt가 검색하는 웹 사이트에서 악성 코드를 반환 할 수 있음을 발견했습니다. 테스트에서 ChatGpt에는 카메라의 제품 페이지처럼 보이도록 가짜 웹 사이트의 URL이 제공되었습니다.그런 다음 AI 도구에 카메라가 가치있는 구매인지 묻습니다.제어 페이지에 대한 응답은 긍정적이지만 균형 잡힌 평가를 반환하여 사람들이 싫어하는 일부 기능을 강조했습니다. 그러나 숨겨진 텍스트에 유리한 검토를 반환하기 위해 Chatgpt에 대한 지침이 포함되었을 때, 응답은 항상 완전히 긍정적이었습니다.페이지에 페이지에 부정적인 리뷰가있는 경우에도 마찬가지입니다. 숨겨진 텍스트를 사용하여 실제 검토 점수를 무시할 수 있습니다. 지침없이 제 3자가 숨겨진 텍스트를 간단하게 포함시키는 것은 긍정적 인 평가를 보장하는 데 사용될 수 있으며, Chatgpt가 반환 한 요약에 영향을 미치는 매우 긍정적 인 가짜 리뷰를 포함하여 하나의 테스트를 포함합니다. CyberCX의 Cybersecurity 연구원 인 Jacob Larsen은 현재 ChatGpt 검색 시스템이 현재 상태에서 완전히 출시되면 사용자를 대상으로하는 웹 사이트를 만드는 사람들의 "높은 위험"이있을 수 있다고 믿었습니다. 그러나 그는 검색 기능이 최근에만 출시되었으며 OpenAI는 이러한 종류의 문제를 테스트하고 이상적으로 수정할 것이라고 경고했습니다. "이 검색 기능은 최근에 나왔으며 프리미엄 사용자 만 사용할 수 있습니다." "그들은 매우 강력한 [AI Security] 팀을 보유하고 있으며, 이것이 공개 될 때까지 모든 사용자가 액세스 할 수있는 관점에서 이러한 종류의 사례를 엄격하게 테스트했을 것입니다." OpenAi는 자세한 질문을 보내었지만 ChatGpt 검색 기능에 대한 기록에 응답하지 않았습니다. Larsen은 LLM으로 알려진 검색 및 대형 언어 모델을 결합하는 데있어 광범위한 문제가 있다고 말했습니다. ChatGpt 및 기타 챗봇의 기술인 AI 도구의 응답을 항상 신뢰해서는 안된다고 말했습니다. 이에 대한 최근의 예는 Microsoft 보안 연구원 인 Thomas Roccia에 의해 강조되었으며, 그는 프로그래밍 지원을 위해 Chatgpt를 사용하는 암호 화폐 애호가와 관련된 사건을 자세히 설명했습니다.Cryptocurrency 프로젝트를 위해 Chatgpt가 제공 한 일부 코드에는 Solana 블록 체인 플랫폼에 액세스하는 합법적 인 방법으로 설명 된 섹션이 포함되었지만 대신 프로그래머의 자격 증명을 훔쳐서 2,500 달러를 잃었습니다. Larsen은“그들은 단순히 질문을하고 답을 받고 있지만, 모델은 기본적으로 악의적 인 것을 공유하기 위해 적대자가 주입 한 컨텐츠를 생성하고 공유하고 있습니다. 보안 사이버 보안 회사 인 SR Labs의 수석 과학자 인 Karsten Nohl은 AI 채팅 서비스는 "공동 조종사"처럼 사용되어야하며 출력을 완전히 사용하지 않아야한다고 말했다. "LLMS는 거의 어린이와 같은 매우 신뢰할 수있는 기술이며, 큰 기억은 있지만 판단 전화를하는 능력은 거의 없습니다." "기본적으로 아이가 다른 곳에서 들었던 물건을 나누는 것을 가지고 있다면 소금 한 덩어리로 그것을 가져 가야합니다." OpenAi는 모든 ChatGpt 페이지의 하단에 면책 조항으로 서비스의 실수에 대해 사용자에게 경고합니다.“Chatgpt는 실수를 할 수 있습니다.중요한 정보를 확인하십시오.” 주요 질문은 이러한 취약점이 검색과 LLM을 결합하는 경우 사용자에게 웹 사이트 관행과 위험을 변경할 수있는 방법입니다. 숨겨진 텍스트는 역사적으로 Google과 같은 검색 엔진에 의해 처벌을 받았으며,이를 사용하는 웹 사이트는 검색 결과에 더 나열되거나 완전히 제거 될 수 있습니다.결과적으로 AI를 속이기 위해 설계된 숨겨진 텍스트는 검색 엔진에서 좋은 순위를 유지하려는 웹 사이트에서 사용하지 않을 수 있습니다. NOHL은 AI 지원 검색이 직면 한 문제를 "SEO 중독"과 비교했습니다. 해커는 웹 사이트가 검색 결과에서 높은 순위를 차지하기 위해 웹 사이트를 조작하여 일종의 맬웨어 또는 기타 악성 코드를 포함하는 웹 사이트를 조작하는 기술입니다. "Google과의 경쟁자를 만들고 싶다면, 당신이 고투하고있는 문제 중 하나는 SEO 중독입니다."“SEO 중독자들은 Google과 Microsoft Bing과 몇 년 동안 다른 사람들과 무기 경주를 해왔습니다. “이제 Chatgpt의 검색 기능에 대해서도 마찬가지입니다.그러나 LLM 때문이 아니라 검색을 처음 접했기 때문에 Google과 함께 플레이 할 캐치 업 게임이 있습니다.”